Gran paso en GD restaura simetría en redes profundas con múltiples vías
Descubre cómo un gran paso en GD restaura simetría en redes profundas, evitando especialización en una vía y promoviendo representaciones compartidas.
#descenso de gradiente
Descenso de gradiente en el borde de la estabilidad: modelo de energía libre
Descubre cómo el descenso de gradiente en el borde de la estabilidad genera oscilaciones persistentes y cómo un modelo de energía libre las predice.
Optimización Adaptativa de Rollouts para Post-Entrenamiento con RL
Descubre CERO, método adaptativo que optimiza rollouts en post-entrenamiento de LLMs. Supera a GRPO en razonamiento matemático. ¡Eficiencia mejorada!
Límites pseudoespectrales en descenso de gradiente acoplado
Descubre cómo los nuevos límites pseudoespectrales revelan amplificación transitoria en gradiente acoplado. Clave para optimización bilevel y adversarial.
Entrenamiento conjunto de capas en redes ReLU para modelos lineales
Aprende cómo el descenso de gradiente logra convergencia lineal en redes ReLU, evitando puntos silla y alcanzando el mínimo global.
Tasas óptimas de generalización del descenso de gradiente en clasificación ReLU profunda
Descubre cómo el descenso de gradiente logra tasas de generalización óptimas en redes ReLU profundas con dependencia polinomial de la profundidad, mejorando resultados previos.
Descifrando el Grokking en Regresión Ridge
Descubre cómo el grokking en regresión ridge demuestra que la generalización tardía no es un fallo de deep learning. Aprende a controlarlo con hiperparámetros.
GradMem: Contexto en Memoria con Descenso de Gradiente en Tiempo de Prueba
Optimiza LLMs con GradMem: escribe contexto en memoria mediante descenso de gradiente en tiempo de prueba, reduciendo la necesidad de grandes cachés.
Gradiente natural sin inversión en variedades riemannianas
Descubre cómo optimizar modelos estadísticos en variedades Riemannianas sin invertir la matriz de Fisher. Un método eficiente con convergencia probada.
Análisis de estabilidad de Sharpness-Aware Minimization
Descubre cómo el algoritmo SAM puede quedarse atrapado en puntos de silla y cómo el momentum y el tamaño de lote ayudan a mejorar su estabilidad y generalización.
Deep Learning como la construcción disciplinada de objetos dóciles
Exploramos cómo la geometría dócil proporciona un marco matemático para garantizar la convergencia del descenso de gradiente en deep learning, incluso en entornos no lisos y no convexos.
La geometría del grokking: minimización de norma en la variedad de pérdida cero
Descubre cómo la minimización de norma en la variedad de pérdida cero explica el fenómeno grokking: generalización tardía tras memorización.
La paradoja de la optimización por resultados en LLMs
Los LLMs optimizados por resultados alcanzan altos benchmarks pero colapsan en razonamiento. Te explicamos la paradoja y cómo los modelos de recompensa de procesos la resuelven.
Convergencia no asintótica de algoritmos estocásticos: marco de Lyapunov
Descubre cómo el marco de Lyapunov permite analizar la convergencia en tiempo finito de algoritmos estocásticos como Q-learning y SGD. Ideal para IA y RL.
Perturbación de Gradientes: Aprendiendo a Perturbar Gradientes para Entrenamiento Adaptativo
Aprende a perturbar gradientes para entrenamiento adaptativo. Optimiza modelos con esta técnica avanzada de machine learning.
El descenso de gradiente no euclidiano opera al borde de la estabilidad
Análisis del descenso de gradiente no euclidiano en el borde de la estabilidad. Optimización avanzada en geometrías no euclidianas.
SkillGrad: Optimizando habilidades de agentes como el descenso de gradiente
Optimización de habilidades de agentes como descenso de gradiente